โทกิชิโรเดินทางกลับมายังแคว้นโอวาริบ้านเกิดใน ค.ศ. 1557 และเข้ารับใช้ตระกูลโอดะ ซึ่งในขณะนั้นมีผู้นำคือโอดะ โนบูนางะ โดยมีหน้าที่เป็นผู้ดูแลรองเท้าของโนบูนางะ ในค.ศ. 1561 โทกิชิโรได้แต่งงานกับนางเนเนะ (寧々) บุตรสาวบุญธรรมของอาซาโนะ นางากัตสึ (浅野長勝) การรับใช้ตระกูลโอดะทำให้โทกิชิโรได้รู้จักกับมาเอดะ โทชิอิเอะ (前田利家) อันจะเป็นพันธมิตรคนสำคัญที่สุดของฮิเดโยชิในอนาคต ต่อมาโทกิชิโรจึงได้สร้างผลงานชิ้นแรกใน ค.ศ. 1567 คือการเข้ายึดปราสาทกิฟุบนยอดเขาอินาบะ จังหวัดกิฟุในปัจจุบัน โดยโทกิชิโรเป็นผู้ค้นพบเส้นทางลัดขึ้นสู้ยอดเขา ทำให้ทัพของโอดะ โนบูนางะ สามารถเข้ายึดปราสาทได้ และใน ค.ศ. 1568 ได้ติดตามทัพของโอดะ โนบูนางะ ในการเข้ายึดเมืองเกียวโต ในเวลาต่อมาภายหลัง โทกิจิโรได้เปลี่ยนชื่อและนามสกุลใหม่เป็น ฮาชิบะ ฮิเดโยชิ (羽柴秀吉) โดยชื่อสกุลใหม่นำมาจากขุนพลเอกของโนบูนางะสองคน ได้แก่ นิวะ นางาฮิเด (丹羽長秀) และชิบาตะ คัตสึอิเอะ (柴田勝家) ฮิเดโยชิได้รับฉายาว่า "ลิง" จากโอดะ โนบูนางะ ด้วยหน้าตาของฮิเดโยชิที่คล้ายกับลิง

ฮิเดโยชิได้เป็นขุนพลทหารครั้งแรกในยุทธการอาเนงาวะ (姉川の戦い) ซึ่งโอดะ โนบูนางะ ได้เอาชนะอาซากูระ โยชิกาเงะ (朝倉義景) และอาซาอิ นะงะมะสะ (浅井長政) ใน ค.ศ. 1570 หลังจากศึกอาเนงาวะแล้ว ฮิเดโยชิจึงได้รับการแต่งตั้งให้เป็นไดเมียว โดยปกครองดินแดนในแคว้นโอมิ (近江) อันเป็นดินแดนแต่เดิมของตระกูลอาซาอิ และได้รับใช้โอดะ โนบูนางะ ในศึกสงครามอีกหลายครั้ง

จนกระทั่งใน ค.ศ. 1576 โอดะ โนบูนางะได้มอบหมายให้ฮาชิบะ ฮิเดโยชิ ร่วมกับอาเกจิ มิตสึฮิเดะ (明智光秀) ยกทัพไปทางตะวันตกสู่ภูมิภาคชูโงะกุ ซึ่งตระกูลโมริ นำโดยโมริ เทรูโมโตะ (毛利輝元) กำลังเรืองอำนาจอยู่ทางฝั่งตะวันตก ฮิเดโยชิได้พบกับ คุโรดะ โยชิตากะ ซึ่งต่อมาคือ คุโระดะ คัมเบ (黒田官兵衛) อันจะเป็นที่ปรึกษาคนสำคัญของฮิเดโยชิในอนาคต ฮิเดโยะค่อยๆ พิชิตดินแดนที่ละแคว้น ใช้เวลาร่วมหกปีจนกระทั่งในค.ศ. 1582 ฮิเดโยะได้เข้าล้อมปราสาททะกะมะสึ (高松) ของตระกูลโมริ ในเวลาเดียวกันนั้นเอง ฮิเดโยชิได้ทราบข่าวว่า โอดะ โนบูนางะ ได้ถูกอาเกจิ มิตสึฮิเดะ ลอบสังหารที่วัดฮนโน (本能寺) ใกล้กับเมืองเกียวโต